Hijo de Jakob Christian Hertel, Kapellmeister en Oettingen. Estudió teología en la Universidad de Halle (1716) y entró en contacto con el músico Johann Kuhnau en Leipzig. Después de estudiar viola con Ernst Christian Hesse en Darmstadt (1717), fue contratado en 1718 como intérprete de viola en la orquesta de la corte del Duque Johann Wilhelm en Eisenach. A lo largo de su carrera hizo giras de concierto por Alemania y Holanda, incluyendo una visita a Johann Sebastian Bach en Leipzig en 1726. Fue Konzertmeister y director de música en Eisenach desde 1733 hasta la disolución de la Hofkapelle en 1741. Por recomendación de Franz Benda llegó a la corte de Mecklenburg-Strelitz como Konzertmeister, pero allí, como en Eisenach, la Kapelle se disolvió en 1752, y se retiró.

Hertel era uno de mejores intérpretes de viola de su tiempo y un compositor prolífico de música instrumental, aunque mucha  de ella se ha perdido. Mientras estaba en Eisenach siguió el estilo francés, pero durante su tiempo en Neustrelitz adoptó el gusto más ecléctico de la escuela de Berlín. Aparte de seis sonatas para violín y viola o clavicordio publicadas (Op 1, 1727) sus únicas composiciones existentes están en manuscrito. Éstas incluyen dos oberturas, ocho suites orquestales, 22 sinfonías, ocho conciertos para violín, un trío para flauta, violín y bajo continuo, una sonata para flauta, viola y clavicordio, una obertura y 11 sonatas para flauta y bajo continuo, un trío para flauta, violín, violonchelo y clavicordio, y una suite para clavicordio. Cuatro oberturas compuestas en Darmstadt están perdidas.

Su hijo Johann Wilhelm Hertel (1727-1789) fue también un destacado compositor del período clásico.